## ZXSM-150/600/2500 技术手册第三章：安装 Hadoop 伪分布模式

### 前言

本篇文档的编写目的是为了指导用户如何在虚拟机中配置和安装 Hadoop 的伪分布模式。主要涉及内容包括 VMware 的配置，Ubuntu 的安装，以及 Hadoop 伪分布模式的设置等，特别加入了配置主机名和免密码登录的步骤。面向的对象主要是 IT 工程师，开发人员，大数据爱好者。

### 目录
1. [VMware 安装 Ubuntu](#chapter1)
2. [安装 Hadoop](#chapter2)
3. [测试 Hadoop](#chapter3)

<a name="chapter1"></a>
### 第一章: VMware 安装 Ubuntu

...（省略既有内容）

<a name="chapter2"></a>
### 第二章: 安装 Hadoop

...（省略既有内容）

#### 2.4 设置伪分布模式

2.4.1 什么是伪分布模式:

伪分布模式，即单节点模式，是在单个机器上模拟整个 Hadoop 集群运行的一种模式。在这种模式下，Hadoop 将会运行所有的守护进程，包括 NameNode, DataNode, ResourceManager 和 NodeManager 等。

2.4.2 配置伪分布模式：

配置伪分布模式需要修改几个核心配置文件。

**Step 1**: 配置 `core-site.xml` 文件，设置 HDFS 的 NameNode 地址以及 Hadoop 的临时目录。

```xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>
```

**Step 2**: 配置 `hdfs-site.xml` 文件，设置 HDFS 的副本数。

```xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
```

**Step 3**: 配置 `mapred-site.xml` 文件，设置 MapReduce 运行的框架。

如果 `mapred-site.xml` 文件不存在，需要从 `mapred-site.xml.template` 文件复制一个新的。

```xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
```

**Step 4**: 配置 `yarn-site.xml` 文件，设置 Yarn 的主节点和 MapReduce 运行方式。

```xml
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node1</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
```

**Step 5**: 配置主机名

编辑 `/etc/hosts` 文件，添加以下内容：

```bash
127.0.0.1   localhost
```

**Step 6**: 设置免密码登录

首先，生成 ssh 密钥对：

```bash
ssh-keygen -t rsa -P ''
```

然后，将生成的公钥添加到 authorized_keys 文件中：

```bash
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
```

这样就设置好了伪分布模式。

<a name="chapter3"></a>
### 第三章: 测试 Hadoop

...（省略既有内容） 

### 注意

在安装和配置过程中，可能会涉及修改系统文件或命令行操作。请确保你对每个步骤都有充分理解，并遵循提示操作。如果在执行过程中遇到问题，可以查阅相关软件的官方文档或在线求助于相关社区。